นับแต่ ค.ศ. 1938 เป็นต้นมา มีกลุ่มคบคิดหลายกลุ่มวางแผนโค่นรัฐบาลนาซีแล้วในกองทัพบกเยอรมัน และองค์การข่าวกรองทหารเยอรมนี (อับแวร์) ผู้นำแผนคบคิดในช่วงแรกรวมไปถึงพลตรี ฮันส์ โอสเทอร์, พลเอกอาวุโส ลูทวิช เบ็ค และจอมพล แอร์วีน ฟ็อน วิทซ์เลเบิน โอสเทอร์เป็นรองหัวหน้าสำนักงานข่าวกรองทหาร เบ็คเป็นอดีตเสนาธิการกองบัญชาการสูงสุดกองทัพบกเยอรมัน (Oberkommando des Heeres) ฟ็อน วิทซ์เลเบินเป็นอดีดผู้บัญชาการกองทัพที่ 1 แห่งเยอรมนี และอดีตผู้บัญชาการสูงสุดของกองบัญชาการกองทัพเยอรมันด้านตะวันตก (Oberbefehlshaber West, OB West) จากนั้น พวกเขาได้ติดต่อกับพลเรือนที่โดดเด่นหลายคน รวมถึงคาร์ล ฟรีดริช เกอร์เดอเลอร์ อดีตนายกเทศมนตรีเมืองไลพ์ซิจ และนักกฎหมายเฮ็ลมูล ฟ็อน ม็อลท์เคอ

กลุ่มคบคิดทางทหารหลายกลุ่มแลกเปลี่ยนแนวคิดกับกลุ่มกู้ชาติพลเรือน นักการเมืองและปัญญาชนในไครเซาแอร์ ไครส์ (ซึ่งประชุมกันที่คฤหาสน์ฟ็อนมอลท์เคอในไครเซา) และในวงลับอื่น ๆ มอลท์เคอคัดค้านการสังหารฮิตเลอร์ เขาต้องการให้นำตัวฮิตเลอร์มาพิจารณาคดีในศาล มอลท์เคอกล่าวว่า "เราล้วนเป็นมือสมัครเล่น และจะทำพลาด" มอลท์เคอยังเชื่อว่าการฆ่าฮิตเลอร์เป็นการเสแสร้ง ฮิตเลอร์และลัทธิชาติสังคมนิยมเปลี่ยน "การกระทำผิด" เข้าสู่ระบบ อันเป็นสิ่งที่ขบวนการก้ชาติพึงเลี่ยง[7]

มีการพัฒนาแผนจัดการโค่นอำนาจและป้องกันฮิตเลอร์มิให้เปิดฉากสงครามโลกครั้งใหม่ใน ค.ศ. 1938 และ 1939 แต่ยกเลิกไป เพราะพลเอก ฟรันซ์ ฮัลเดอร์ และพลเอกเบราคิทช์ปฏิเสธอย่างเด็ดขาด และชาติตะวันตกไม่สามารถยับยั้งการแผ่อำนาจของฮิตเลอร์กระทั่ง ค.ศ. 1939 กลุ่มต่อต้านทหารกลุ่มแรกชะลอแผนของตนหลังฮิตเลอร์ได้รับความนิยมอย่างยิ่งหลังความสำเร็จอย่างรวดเร็วไม่คาดฝันในยุทธการที่ฝรั่งเศส

ในปี ค.ศ. 1942 มีการตั้งกลุ่มสมคบใหม่ขึ้น นำโดยพันเอกเฮ็นนิง ฟ็อน เทร็สโค สมาชิกเสนาธิการของจอมพลเฟดอร์ ฟ็อน บ็อค ผู้บังคับบัญชากองทัพกลุ่มกลางในปฏิบัติการบาร์บารอสซา เทร็สโคสรรหาผู้ต่อต้านเข้าสู่เสนาธิการของกลุ่มอย่างเป็นระบบ ทำให้เป็นศูนย์กลางของกลุ่มต่อต้านในกองทัพบก กลุ่มไม่สามารถทำอะไรฮิตเลอร์ได้มากนักเพราะมีการคุ้มกันอย่างแน่นหนา และไม่มีผู้ก่อการคนใดเข้าใกล้ตัวฮิตเลอร์ได้มากพอ[8]

กระนั้น ระหว่าง ค.ศ. 1942 พลเอกโอสเทอร์ และพันเอกเทร็สโคสามารถสร้างเครือข่ายต่อต้านอันมีประสิทธิภาพได้อีกครั้ง สมาชิกสำคัญที่สุดของพวกเขา คือ พลเอกฟรีดริช อ็อลบริชท์ ซึ่งอยู่ประจำกองบัญชาการสูงสุดกองทัพบกเยอรมัน กลางกรุงเบอร์ลิน ซึ่งควบคุมระบบการสื่อสารอิสระต่อหน่วยกองหนุนทั่วประเทศเยอรมนี ความเชื่อมโยงนี้กับกลุ่มต่อต้านของเทร็สโคในกองทัพกลุ่มกลางสร้างกลไกรัฐประหารที่ใช้การได้ขึ้น[9]

ปลายปี ค.ศ. 1942 พันเอกเทร็สโค และนายพลอ็อลบริชท์คิดแผนการลอบสังหารฮิตเลอร์ และจัดการโค่นอำนาจระหว่างที่ฮิตเลอร์เยือกองบัญชาการทหารบกกลุ่มกลางที่สโมเลนสก์ ในเดือนมีนาคม ค.ศ. 1943 โดยวางระเบิดบนเครื่องบินของเขา แต่ระเบิดไม่ทำงาน และความพยายามหนที่สองในสัปดาห์ต่อมา ระหว่างที่ฮิตเลอร์กำลังตรวจอาวุธของโซเวียตที่ถูกยึดในกรุงเบอร์ลินก็ไม่ประสบผลเช่นกัน ความผิดพลาดเหล่าทำให้กลุ่มผู้คบคิดเสียกำลังใจ ระหว่าง ค.ศ. 1943 เทร็สโคพยายามอย่างไร้ผลในการสรรหาผู้บัญชาการสนามอาวุโสของกองทัพบก เช่น จอมพลเอริช ฟ็อน มันชไตน์ และจอมพลแกร์ด ฟ็อน รุนด์ชเตดท์ เพื่อช่วยยึดอำนาจ เทร็สโคเจาะจงทุ่มเทกับผู้บัญชาการทหารบกกลุ่มกลางของเขา จอมพลกึนเทอร์ ฟ็อน คลูเกอเพื่อเกลียกล่อมให้เขาเคลื่อนไหวต่อต้านฮิตเลอร์ ซึ่งบางครั้งก็ได้รับความยินยอมจากเขาสำเร็จ ทว่าเขากลับไม่เด็ดขาดในนาทีสุดท้าย[10] แม้จอมพลทั้งหลายจะปฏิเสธ ทว่าไม่มีคนใดรายงานกิจกรรมทรยศต่อเกสตาโพหรือฮิตเลอร์เลย